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基于 改进 轻 量 级 卷 积 神经 网 络 MobileNetV3 的 
番茄 叶片 病害 识别 
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曹 丽 英 , 于 合龙 


(吉林 农业 大 学 信息 技术 学 院 ,吉林 长 春 130118) 


摘 要 : 番茄 病害 的 及 时 检测 可 有 效 提升 番茄 的 质量 和 产量 。 为 实现 番茄 病害 的 实时 无 损伤 检测 ， 本 研究 
提出 了 一 种 基于 改进 MobileNet V3 的 番茄 叶片 病害 分 类 识别 方法 。 首 先 选择 轻 量 级 卷 积 神经 网 络 Mobile- 
NetV3， 在 Image Net 数 据 集 上 进行 预 训练 ， 将 预 训练 得 到 的 共享 参数 迁移 到 对 番茄 叶片 病害 识别 的 模型 上 并 
做 微调 处 理 。 采 用 相同 的 训练 方法 对 VGG16 、ResNet50 和 Inception-V3 三 种 深度 卷 积 网 络 模型 也 进行 迁移 学 


习 并 进行 对 比 ， 结 果 显 示 MobileNet V3 的 总 体 学 习 效 号 


最 好 ， 在 Mixup 混合 增强 和 focal loss 损 失 函 数 下 对 10 


类 番茄 病害 的 平均 测试 识别 准确 率 达 到 94.68%。 在 迁移 学 习 的 基础 上 继续 改进 MobileNetV3 模 型， 在 卷 积 
层 引 入 空洞 卷 积 和 感知 机 结构 ， 采 用 GLU (Gated Liner Unit) 闸门 机 制 激活 函数 ， 训 练 得 到 最 佳 的 番 茹 病害 
识别 模型 ， 平均 测试 的 识别 准确 率 98.25%， 模 型 的 数据 规模 43.57 MB ， 单 张 番茄 病 害 图 像 的 检测 耗 时 仅 
0.27 s。 经 十 折 交 叉 验 证 (10-Fold Cross-Validation ) ， 模 型 的 鲁 棒 性 良好 。 本 研究 可 为 番茄 叶片 病害 的 实时 


检测 提供 理论 基础 和 技术 支持 。 


关键 词 : 番茄 病害 识别 ; 卷 积 神经 网 络 ; 迁移 学 习 ; MobileNetV3; 激活 函数 ; 识别 分 类 


中 图 分 类 号 : TP391.41;TP183 


引用 格式 : 周 巧 歼 , 马 丽 , 曹 丽 英 , 于 合龙 . 基于 改进 轻 量 


智慧 农业 (中 英文 ), 2022, 4(1): 47-56. 


文献 标志 码 : A 


文章 编号 : SA202202003 


级 卷 积 神经 网 络 MobileNetV3 的 番茄 叶片 病害 识别 [. 


ZHOU Qiaoli, MA Li, CAO Liying, YU Helong. Identification of tomato leaf diseases based on improved light- 
weight convolutional neural networks MobileNetV3[J]. Smart Agriculture, 2022, 4(1): 47-56. (in Chinese with Eng- 


lish abstract) 


一 人 


引 言 

番茄 在 种 植 和 果实 产 出 过 程 中 ， 容 易 受 天 
气 、 温 度 和 湿度 等 各 种 因素 的 影响 ， 发 生 各 种 病 
害 从 而 影响 番茄 的 质量 …。 鼻 茄 的 根部 、 茎 部 和 


收 稿 日 期 : 2022-02-14 


果实 都 会 发 生 多 种 常见 的 病害 ， 在 病害 发 生 的 不 
同 阶段 会 呈现 出 不 同 的 损伤 特征 ， 叶 部 易 发 生 的 
病害 主要 有 细菌 斑 、 叶 霉 病 、 早 疫病 、 晚 疫病 、 
七 星 叶 斑 病 、 靶 斑 病 、 双 斑 师 蛛 、 花 叶 病 毒 ， 以 
及 黄 曲 叶 病 等 。 番 茄 病害 类 别 多 且 病 害 对 叶片 的 
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影响 程度 较为 复杂 ， 需 要 及 早 地 对 病害 种 类 和 程 
度 做 出 识别 和 判断 ， 喷 酒 对 应 的 农药 进行 治疗 ， 
否则 会 影响 番茄 的 果实 培育 ， 最 终 影 响 盔 茄 的 质 
量 和 产量 。 

计算 机 图 像 处 理 技 术 和 深度 学 习 技 术 的 逐渐 
成 熟 使 植物 叶片 病害 识别 有 了 突破 性 进展 。 王 建 
簿 等 ”对 全 果 叶 部 病 斑 进行 分 割 ， 将 病 斑 的 颜 
色 、 纹 理 特征 与 支持 癌 量 机 (Support Vector Ma- 
chine, SVM) 结合 实现 病害 的 识别 。 秦 丰 等 ” 
提取 叶 部 病 斑 的 颜色 、 形 状 和 纹理 ， 利 用 朴素 贝 
叶 斯 方法 和 线性 判别 分 析 建 立 了 首 蒂 叶 部 病害 识 
别 模型 。 夏 永 泉 等 “提取 小 麦 病 害 纹 理 和 颜色 
寺 征 ， 采 用 SVM 实现 小 麦 病 害 识别 。 上 述 针 对 
植物 叶片 病害 的 识别 研究 都 是 应 用 病害 的 颜色 、 
纹理 特征 、 形 状 等 信息 对 病害 进行 诊断 ， 这 些 特 
征 的 提取 都 是 依靠 人 工 标定 方式 完成 ， 病 害 类 别 
的 分 类 不 够 准确 ， 进 而 会 影响 叶片 病害 的 识别 
度 ， 该 类 方法 普遍 适应 性 不 强 。 

卷 积 神经 网 络 可 以 实现 作物 病害 特征 的 自动 
提取 ，GoogLeNet、AlexNet 和 ResNet 等 在 作物 
病害 识别 方面 都 已 经 取得 非常 好 的 效果 。 刘 婷 婷 
SE) 采用 AlexNet 卷 积 神经 网 络 对 水 稳 纹 枯 病 进 
行 识别 ， 达 到 了 97% 的 精确 度 ， 但 病害 类 别 单一 
且 数 据 量 不 够 丰富 。Wu “通过 调整 VGG16 和 
ResNet 双 通道 卷 积 神经 网 络 的 参数 ， 对 玉米 叶 部 
病害 识别 准确 率 达 到 93.33%， 但 识别 率 较 低 且 
图 像 分 辨 率 较 高 ， 模 型 参数 依然 庞大 ， 整 体 识别 
性 能 还 有 待 提 高 。 丁 瑞 和 周平 ”参照 AlexNet 框 
架 ， 构 建 卷 积 神经 网 络 结合 迁移 学 习 训练 网 络 ， 
测试 识别 准确 率 96.18%， 识 别 效果 较 好 。 陈 桂 
BSE |S) 通过 数据 增强 和 迁移 学 习 的 方式 对 改进 
Inception-V3 进行 训练 ， 提 取 病 害 图 片 特征 ， 对 
农田 玉米 病害 的 平均 识别 准确 度 达 96.6%， 分 类 
效果 良好 。Waheed 等 ”提出 了 一 种 用 于 玉米 叶 
部 病害 识别 和 分 类 的 优化 密集 卷 积 神经 网 络 结 
构 ， 监 测 作 物 健 康 状 况 ， 模 型 的 精度 达到 
98.06%。 综 上 所 述 ， 将 迁移 学 习 与 神经 网 络 相 结 
合 ， 可 以 有 效 提 高 病害 的 识别 精确 度 ， 但 是 所 采 


用 的 卷 积 神经 网 络 算法 参数 量 大 ， 图 像 分 辨 率 
高 ， 运 行 时 间 长 ， 不 利于 在 移动 端 实现 对 作物 病 
害 的 快速 实时 检测 。 

本 研究 以 番茄 的 病害 叶片 为 主要 研究 对 象 ， 
以 轻 量 级 卷 积 神经 网 络 MobileNetV3 |" y EF 
网 络 模型 ， 在 迁移 学 习 基 础 上 对 模型 结构 进行 改 
进 ， 并 将 其 与 VGG16、ResNet50 和 Inception-V3 
模型 进行 了 试验 对 比 。 


2 数据 来 源 及 预 处 理 


2.1 试验 数据 集 


试验 研究 对 象 为 盔 茄 叶 部 病害 图 像 ， 试 验 数 
据 集 来 自 Plant Village "公开 数据 集 ， 该 平台 包 
括 不 同 作物 的 多 种 病害 类 别 的 植物 叶片 图 像 ， 按 
照 物 种 和 疾病 可 分 为 38 类 。 番 茄 试验 样本 主要 
包括 10 类 常见 的 番茄 病害 叶片 ， 其 中 早 疫病 
1000 幅 、 晚 疫病 1909 幅 、 细 菌 病 1320 幅 IFE 
病 952 幅 、 七 星 叶 斑 病 1771 幅 、 靶 斑 病 1404 幅 、 
UGE WA WE 1676 幅 、 花 叶 病 毒 373 幅 、 黄 曲 叶 病 
1250 幅 、 健 康 叶片 1391 幅 。 本 研究 统一 采用 
*.jpg 格 式 ， 图 像 统 大 小 一 调整 到 64X64 像 素 。 


2.2 数据 预 处 理 


2.2.1 普通 数据 增强 

为 保证 试验 数据 的 均衡 性 、 样 本 的 多 样 性 和 
训练 卷 积 神经 网 络 模型 ” 所 需 样本 的 充足 性 ， 
对 试验 数据 进行 了 批 归 一 化 和 数据 增强 处 理 "1。 
对 病害 图 像 分 别 做 了 高 斯 噪声 添加 、 亮 度 增强 、 
对 比 度 变换 、 随 机 裁剪 和 随机 旋转 操作 ， 以 此 增 
强 样本 的 多 样 性 ， 达 到 尽 可 能 模仿 自然 环境 下 
对 病害 识别 的 效果 。 扩 充 后 的 病害 图 像 总 数 为 
18,521 张 。 对 数据 集中 10 种 病害 进行 相同 的 增强 
处 理 ， 提 高 番茄 样本 的 质量 和 数量 以 及 训练 模型 
的 泛 化 能 力 。 以 七 星 叶 斑 病 为 例 ， 扩 充 示 意图 
如 图 1 所 示 。 数 据 增强 方法 调整 了 原始 图 像 的 角 
度 、 亮 度 、 模 糊 度 、 放 大 了 局 部 病 斑 的 细节 。 
2.2.2 Mixup 混合 增强 

Mixup 增强 方式 O“ 是 将 两 张 原 图 像 按 比例 
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(a) SRG AR (b ) REAL FE (Cc) ORF AS Ae (d) 亮 度 增 强 (e) 随 机 裁剪 
图 1 番茄 叶片 七 星 叶 斑 病 原始 图 像 和 增 广 图 像 对 比 


Fig. 1 Comparison of original image and augmented images 


of tomato septoria leaf spot 


进行 线性 插值 来 生成 新 的 混合 图 像 ， 经 插值 混合 
后 的 样本 与 真实 样本 非常 接近 。 本 人 研究 选择 对 番 
茄 样本 进行 同类 混合 增强 ， 既 增加 了 样本 的 多 样 
性 ， 又 增强 了 对 重要 特征 的 学 习 。 使 用 Mixup 合 
成 新 的 图 像 可 以 线性 琶 加 两 张 原始 图 像 的 特征 向 
量 ， 提 升 了 模型 预测 训练 样本 以 外 数据 的 适应 
性 ， 使 预测 更 具有 平滑 性 。 在 进行 Mixup 增强 
时 ， 随 机 选择 同一 类 别 病害 中 的 两 张 原 始 图 像样 
本 来 合成 新 的 番茄 图 像 。 根 据 Mixup 设置 的 比例 
不 同 ， 合 成 的 图 像 也 不 同 ， 如 图 2 为 混合 系数 
A S 取 值 范围 0 到 1 内 的 合成 图 像 示 例 。 根 据 
不 同比 例 的 合成 效果 ， 试 验 设置 入 值 分 别 为 
0.3、0.5 和 0.8 对 每 一 类 别 的 病害 原始 图 像 进 行 
随机 抽取 以 合成 新 的 图 像 。 混 合 后 的 训练 样本 
共有 15,974 张 。 


(a) 入 =0.1 (b) 入 = 0.2 (c) 4=0.3 


(d) à= 0.4 (e) 入 = 0.5 | 


(g) 和 = 0.7 (h) 1=08 (DA=09 
图 2 番茄 叶片 病害 图 像 Mixup 增 强 


Fig. 2 Mixup enhancement of tomato leaf disease image 


在 同样 达到 数据 扩充 的 目的 下 ， 数 据 增 广 和 
Mixup 混合 增强 各 有 其 优势 ， 但 Mixup 混合 增 
强 更 能 增加 数据 的 多 样 性 。 


3 识别 模型 构建 


3.1 MobileNetV3 模型 


MobileNetV3 模型 以 MobileNetV1 5 模型 和 
MobileNetV2 ”模型 为 基础 ， 结 合 了 这 两 个 模型 
的 优势 ， 进 一 步 提高 了 模型 的 精度 ， 是 效率 更 高 
的 轻 量 级 卷 积 神经 网 络 。 由 于 线性 整流 函数 
(Linear Rectification Function，ReLU) 在 低 维 空 
间 内 的 工作 效率 低 ， 不 利于 特征 的 提取 ， 易 丢失 

特征 信息 ， 因 此 本 研究 采用 线性 瓶颈 结构 ， 在 通 
道 数 量 少 的 着 积 层 后 使 用 线性 层 来 代替 ReLU PK 
数 ， 以 此 来 保证 提取 到 的 特征 信息 更 加 充足 。 

在 MobileNetV2 网 络 结构 的 基础 上 ，Mobile- 
NetV3 将 SE (Squeeze-and-Excitation) 注意 力 模 
Se) 应 用 到 瓶颈 结构 中 ， 起 到 强化 突出 特征 、 
抑制 不 明显 特征 的 作用 。 在 网 络 最 后 的 位 置 ， 去 
掉 了 1X1 卷 积 层 ， 将 平均 池 化 层 向 前 移动 。 采 
FA h-swish 激活 函数 ， 计 算 量 大 大 降低 。 网 络 的 
框架 结构 属于 轻 量 级 ， 对 硬件 的 配置 要 求 低 ， 不 
仅 可 以 实现 较 高 的 分 类 精度 ， 还 能 够 在 手机 移动 
端 实现 。MobileNetV3 主体 部 分 由 11 个 瓶 god 
组 成 ， 前 3 个 结构 中 采用 3X3 的 深度 卷 积 
8 个 采用 5X5 的 深度 卷 积 a 
均 相 同 。 


2 迁移 学 习 


本 人 研究 以 VGG16、ResNet50、 V3 
以 及 MobileNet V3 模型 这 四 种 算法 进行 迁移 学 
J, EXI EII E KURITY a 这 四 种 
算法 各 有 其 自身 的 优势 ， 在 实际 的 病害 识别 应 用 
中 都 可 以 起 到 良好 的 分 类 效果 ， 有 效 节 约 检 测 
时 间 。 

首先 ，, 采用 大 型 数据 集 ImageNet ”作为 网 
络 预 训练 的 源 域 ， 将 预 训练 得 到 的 模型 权重 等 信 
息 迁 移 到 对 番茄 病害 识别 的 模型 上 ， 通 过 已 有 的 
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先 验 知识 可 以 对 类 似 的 识别 任务 做 出 高 效 的 处 
理 ; 然后 在 对 番茄 病 害 图 像 训练 的 过 程 中 ， 对 模 
型 中 的 参数 进行 微调 ”， 得 到 最 终 的 番茄 病害 
识别 模型 。 在 迁移 学 习 过 程 中 ,冻结 所 有 卷 积 层 
并 将 最 后 的 输出 层 去 掉 ， 剩 余 的 网 络 可 视 为 一 个 
用 来 提取 特征 的 容 顺 ,在 番茄 叶片 数据 集 的 训练 
中 ,将 提取 到 的 特征 输入 分 类 器 ， 对 病害 类 别 做 
出 预测 。 将 网 络 的 输出 转换 为 适合 于 番茄 分 类 任 
FAY 10 类 和 输出， 实现 对 番茄 病害 任务 的 精准 预 
测 。 各 模型 迁移 训练 的 识别 算法 流程 如 图 3 
所 示 。 


ig x 
Image net 番茄 
数据 集 数据 集 
| 卷 积 池 化 | | 特征 提取 | rape 
AERIS | egy ae sy | | 重新 训练 参 
NR OTOT mge + 重新 训练 参数 
| 分 类 器 | | 
ee 
100028 
— 
输出 输出 


图 3 基于 迁移 学 习 的 番茄 叶片 病害 识别 流程 图 
Fig. 3 Flow chart of tomato leaf disease identification based 


on transfer learning 


3.3 MobileNetV3 模型 的 改进 


3.3.1 多 层 感 知 机 

Z JE R Fl HL (Multilayer Perceptron, 
MLP) FILA EA AAi Bd O ti A BI) RE W 2 
H, AF-D, RAA aN a8 
输出 。 本 研究 将 原 模 型 中 瓶颈 结构 (bottleneck 
模块 ) 中 的 5X5 卷 积 后 加 上 1X1 卷 积 层 作 为 感 
知 机 的 全 连接 层 ， 并 引入 ReLU 激 活 函 数 ， 构 成 
感知 器 能 入 到 深层 网 络 中 。 感 知 器 中 的 ReLU 作 
为 非 线 性 激活 函数 ， 可 以 使 网 络 的 非 线 性 表达 能 
力 得 到 提升 ， 而 感知 机 结构 可 以 实现 特征 的 重 
用 ， 这 样 可 以 提高 卷 积 神经 网 络 的 局 部 感知 能 
力 ， 使 拟 合 能 力 得 到 增强 。MLP 结 构 见 图 4， 图 


中 MLP layer 层 即 为 在 5X5 卷 积 基 础 上 构建 的 感 
知 机 结构 ， 能 够 灵活 地 添加 网 络 层次 且 其 全 连接 
层 是 由 1X1 卷 积 组 成 ， 相 比 传统 的 全 连接 ， 在 
实现 分 类 作用 的 同时 可 以 省 去 大 量 的 参数 ， 节 约 
了 网 络 的 计算 成 本 。 


1 X lconv layer 


Norm layer 


GLU layer | 5X5 conv layer | 


Norm layer 


Relu layer 


| 1X 1 conv layer | 


SE layer 


GLU layer 


1X lconv 


Norm layer 


图 4 多 层 感 知 机 结构 图 


Fig. 4 Multilayer perceptron structure 


3.3.2 ”空洞 卷 积 

空洞 卷 积 ” 在 传统 卷 积 计算 中 引入 了 膨胀 
系数 r， 扩 张 卷 积 核 的 同时 保持 参数 量 不 增加 ， 
可 以 使 卷 积 核 提 取 更 多 的 特征 信息 ， 有 利于 对 模 
型 的 学 习 训 练 。 番 茄 病 害 种 类 多 样 ， 不 同 病 害 间 
具有 一 定 的 相似 性 ， 发 病 初期 ， 病 斑 微 小 ， 难 于 
对 病 斑 的 细节 纹理 信息 进行 提取 。 此 外 ， 病 斑 叶 
片 颜色 与 健康 叶片 非常 接近 ， 且 难以 对 病 斑 的 边 
缘 、 轮 廓 等 特征 作 区 分 。 

在 不 同 的 瓶颈 结构 中 设置 不 同 尺 二 的 卷 积 
核 ， 有 利于 更 深层 次 抽象 特征 的 提取 ， 使 之 与 日 
标 对 象 更 加 接近 。 因 此 ， 本 研究 在 MobileNetV3 
的 最 后 两 个 bottleneck 模块 中 引入 了 空洞 卷 积 ， 
rf 分 别 为 2 和 4。 如 图 5 所 示 ， 三 张 图 对 应 的 初 
始 卷 积 核 大 小 都 为 3X3, fr 从 左 至 右 分 别 为 1、 
2、4， 感 受 野 分 别 为 3X3、5X5、9X9。 可 以 
看 出 + 的 增 大 使 得 感受 野 也 明显 增 大 ， 且 没有 
增加 运算 消耗 ， 卷 积 核 计算 参数 依然 同 初始 卷 积 
核 一 样 。 
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(a)r=1 (b)r=2 
图 5 空洞 卷 积 膨胀 示意 图 


Fig. 5 Schematic diagram of dilated convolution expansion 


3.3.3 GLU 函数 

GLU (Gated Liner Unit), GTU 单元 '™! 是 基 
于 闸门 机 制 (Gate Mechanism) 的 激活 函数 ， 
GLU 拥 有 线性 通道 在 经 过 激活 的 神经 元 时 不 会 
出 现 梯度 消失 的 问题 ， 有 利于 建 模 过 程 中 的 反 向 
传播 ， 加 速 网 络 收 僵 ,防止 梯度 弥散 。 

GLU 的 表达 式 为 : 

h(x)=(x X W+b)@o(xXV+e) (1) 

其 中 ,x 表示 第 1 层 的 输入 ; h, 表 示 该 层 的 输 
出 信息 ; 政和 VV 代 表 卷 积 核 参 数 ; c 代 表 偏 置 参 
数 。 在 第 / 层 ， 输入 值 x 经 过 核 参 数 W 与 偏 置 5 
的 卷 积 处 理 后 ， 由 参数 为 V 与 c 的 卷 积 处 理 并 激 
活 的 输出 门 来 控制 当前 层 的 输出 结果 。 保 留 更 重 
要 的 信息 输入 到 下 一 层 ， 加 强 病害 特征 的 学 习 和 
识别 。MobileNetV3 网 络 结构 改进 后 的 示意 
如 图 6。 


数据 集 3X3, bneck 3X3, bneckX2 5X5, bneckX6 
64X 643 


Softmax 5X5, bneckx2 
AVG, 7X7 ý 
分 类 器 


ts bss f, x1 卷 积 层 fs ee bus 层 f,- | 
图 6 改进 的 MobileNetV3 网 络 模型 结构 图 
Fig. 6 Structure diagram of improved MobileNetV3 


network model 


4 结果 与 分 析 


4.1 试验 环境 


番茄 叶片 病害 识别 模型 的 训练 和 测试 均 是 基 
TUR BEF J HER Pytorch 完成 的 。 人 硬件 环境 采用 
Intel (R) Celeron (R) CPU N3150 @ 1.60GHz 
1.60 GHz, NF 4G, GPU 采用 NVIDIA GeForce 
显卡 ，4 GB 显存 。 采 用 Windows 7 操作 系统 ， 
Pycharm 编译 环境 和 了 Python3.7 语言 。 每 次 试验 
运行 60 轮 (epochs)， 综 合 考虑 内 存 原 因 和 模型 
的 泛 化 能 力 ， 将 batch size 定 为 64。 学 习 率 依次 
选取 了 1X105、1X10*"、1X10 和 1X10”*， 当 
leaning rate 数值 为 1X103 时 模型 训练 的 效果 最 
好 。 采 用 Adam 优 化 算法 和 ReLU 激 活 函 数 。 


4.2 迁移 方法 验证 


为 确定 迁移 学 习 方法 的 有 效 性 ， 分 别 对 
VGG16、 Inception-V3、 ResNet50 和 Mobile- 
NetV3 网 络 模型 的 识别 性 能 和 迁移 学 习 的 试验 结 
果 作 对 比分 析 ， 如 图 7 所 示 。 曲 线 的 起 点 由 原来 
的 19%~35% 提高 到 55% 一 74%， 初 始 性 能 明显 
提升 。 迁 移 训练 的 MobileNetV3 曲线 在 训练 达到 
10 轮 时 就 可 以 收敛 ， 相 比 原来 的 20 轮 有 所 提前 。 
而 VGG16、Inception-V3 和 ResNet50 在 训练 25 
轮 后 也 收敛 ， 准 确 率 相 比 之 前 有 大 幅 提 升 。 且 基 
于 迁移 学 习 的 曲线 在 训练 过 程 中 更 趋 于 稳定 。 


0.3 —— MobilenetV3 — Transfer 
02 —— MobilenetV3 
0 10 20 30 40 50 60 
轮 数 / 轮 


(a)MobileNetV3 迁移 训练 
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— VGG16— Transfer 
一 一 VGGI16 


0 10 20 30 40 50 60 
轮 数 / 轮 


(b)VGG16 迁 移 训 练 


0.4 
—— ResNet50— Transfer 
0.3 —— ResNet50 
0 20 40 60 
轮 数 / 轮 


(c)ResNet50 迁移 训练 


Inception-v3 — Transfer 


Inception-v3 


0 10 20 40 50 60 


30 
轮 数 / 轮 
(d)Inception-V3 迁移 训练 
图 7 MobileNetV3, VGG16, ResNet50, Inception-V3 四 
种 迁移 学 习 对 比 
Fig. 7 Comparison of the four transfer learning of Mobile- 
NetV3, VGG16, ResNet50, Inception-V3 

KI 8 N DU ASE BE J SIT a at A A FE 
别 的 效果 对 比 。 可 见 ，MobileNetV3 迁移 算法 对 
番茄 叶片 病害 的 识别 率 更 加 精确 ， 且 在 训练 10 
轮 的 时 候 曲线 已 经 收敛 ， 与 其 他 三 种 算法 相 比 提 
前 了 15 轮 达到 收敛 状态 ;而且 MobileNetV3 迁移 
算法 在 训练 过 程 中 曲线 震荡 幅度 较 小 ， 更 加 稳 


定 ， 星 现 出 了 更 佳 的 训练 状态 。 综 上 所 述 ，Mo- 
bileNetV3 迁移 算法 更 适合 番茄 叶片 病害 识别 
任务 。 


0.9 


0.8 


a 
证 0.7 
i 
a 


0.6 —— MobilenetV3 
— VGGI16 
一 一 ResNet50 
is — Inception-v3 
0 10 20 30 40 50 60 
轮 数 / 轮 


图 8 四 种 算法 识别 番茄 病害 结果 
Fig.8 Tomato leaf diseases recognition results using the four 


algorithms 


4.3 MobileNetV3 迁移 模型 在 不 同 试验 方 
案 下 的 识别 结果 


经 迁移 学 习 对 番茄 病害 叶片 的 测试 Mo- 
bileNetV3 模型 取得 了 最 优 的 识别 效果 。 为 检测 
损失 函数 和 数据 增强 对 模型 性 能 的 影响 ， 针 对 和 看 
茹 叶片 的 普通 增强 和 Mixup 混 合 增强 两 种 增强 方 
式 ， 分 别 选 用 Focal loss 损失 函数 以 及 Cross en- 
tropy loss 函数 进行 测试 ， 形 成 四 种 不 同 的 组 合 方 
案 。 准 确 率 和 损失 变化 如 表 1 所 示 。 

表 1 四 种 对 比方 案 的 番茄 病害 识别 精度 


Table 1 Identification accuracy of four comparison Schemes 


on tomato disease identification 


数据 增强 测试 准确 
JR 2E eH Qe 损失 值 /% 
损失 函数 方案 方式 率 /% 损失 值 0 
普通 增强 94.31 28.59 
Focal loss 
FX “Mixup 混合 增强 94.68 27.12 
Cross entropy C 普通 增强 94.26 33.59 
loss CX Mixup 混合 增强 94.57 32.98 


由 表 1 可 知 ， 四 种 试验 方案 下 模型 的 识别 精 
度 相 差 不 大 ， 但 损失 变化 的 差异 相对 较 明 显 ， 其 
中 方案 F 和 方案 FX 下 的 识别 准确 率 比 方案 C 和 
CX F AY YE WA HEFT 0.05%~0.11%; 而 方案 FE 和 
方案 FX 下 的 损失 值 也 明显 比方 案 C 和 CX 下 的 损 
失 值 降低 5% 左 右 。 这 说 明 与 使 用 Cross entropy 
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loss 函数 相 比 ， 使 用 Focal loss 函数 的 模型 总 体 识 
别 性 能 更 好 。 

此 外 ,方案 FX 和 方案 FE 相 比 ， 准 确 率 提 高 
0.37%、 损 失 值 下 降 1.47%; 方案 CX 和 方案 C 相 
比 ， 准 确 率 提高 0.31%、 损 失 值 下 降 0.61%， 这 
说 明 在 同一 损失 函数 下 ， 采 用 Mixup 混合 增强 方 
式 比 普通 增强 方式 的 分 类 效果 更 好 ，Mixup 混合 
增强 有 助 于 提高 深度 网 络 模型 的 识别 性 能 。 


4.4 基于 迁移 学 习 的 MobileNetV3 改进 前 
后 结果 对 比 


4.4.1 模型 识别 性 能 的 提升 

如 图 9 所 示 ，MobileNetV3 曲线 代表 4.3 节 的 
迁移 模型 的 识别 曲线 ，dilated 标 识 的 曲线 代表 迁 
移 MobileNetV3 模 型 采用 空洞 卷 积 和 感知 机 的 识 
别 变 化 ; dilated and GLU 曲线 代表 迁移 Mobile- 
NetV3 模 型 在 dilated 曲线 的 基础 上 ， 进一步 采用 
GLU 函数 的 模型 识别 变化 。 从 图 9 中 可 以 看 出 ， 
在 训练 达到 相同 轮 数 的 情况 下 ,改进 后 的 模型 的 
识别 精度 有 所 提升 。 相 比 迁 移 学 习 的 94.68% 的 
识别 率 ， 在 空洞 卷 积 和 感知 机 相 结合 的 情况 下 识 
别 率 可 提升 2.62%， 进 一 步 采 用 GLU 函数 可 以 使 
识别 率 再 次 上 升 0.85%。 说 明 本 研究 方法 提高 了 
模型 的 识别 精度 ， 识 别 性 能 得 到 提升 。 


—— MobilenetV3 + dilated + glu 
—— MobilenetV3 + dilated 
一 一 MobilenetV3 


0 10 20 40 50 60 


30 
轮 数 / 轮 
图 9 迁移 MobileNetV3 模型 改进 前 后 测试 曲线 
Fig. 9 Test curves before and after model improvement of 


migrate MobileNetV3 
从 表 2 可 以 看 到 ，VGG16 模 型 的 测试 准确 率 
仅 有 86.62%，ResNet50 和 Inception-V3 测试 准确 
率 分 别 为 89.95% 和 90.26%; 而 MobileNetV3 模 


表 2 四 种 迁移 学 习 算法 对 番茄 病害 的 识别 结果 
Table 2 Recognition results of four transfer learning 


algorithms oftomato leaves 


数据 规 ”测试 准确 单 张 图 像 


模 /MB 率 /% ”检测 时 间 /s 
迁移 VGG16 98.38 86.62 0.57 
迁移 ResNet50 92.14 89.95 1.54 
迁移 Inception-V3 506.28 90.26 0.55 
迁移 MobileNetV3 43.57 94.68 0.39 
迁移 + 改进 MobileNetV3 46.73 98.25 0.27 


型 测试 准确 率 达 94.68%， 在 对 MobileNetV3 模型 
结构 改进 之 后 ， 准 确 率 达 到 了 98.25%， 提 升 了 
3.57%， 识 别 效果 达到 最 优 。 

在 识别 过 程 中 ，ResNet50 对 单 张 图 片 检测 时 
间 为 1.54 s。VGG16 与 Inception-V3 的 平均 检测 
时 间 分 别 是 0.57s 和 0.55 s，MobileNetV3 模 型 的 
识别 检测 平均 耗 时 为 0.39 so GLU 函数 加 速 了 网 
络 的 收 倒 ， 单 张 图 像 的 识别 时 间 缩 减 为 0.27 s, 
缩短 了 0.12s， 且 数据 规模 最 小 ， 更 适合 番茄 病 
害 的 检测 。 

44.2 ”各 类 别 病害 识别 准确 率 的 提高 

如 图 10 所 示 ， 为 改进 后 模型 对 病害 分 类 效 
果 的 混淆 矩阵 图 。 其 中 0~9 分 别 代表 番茄 细菌 
病 、 早 疫病 、 晚 疫病 、 叶 霉 病 、 七 星 叶 斑 病 、 厚 
斑 病 、 双 斑 师 蛛 、 花 叶 病 毒 、 黄 曲 叶 病 、 健 康 叶 
片 的 类 别 。 可 以 看 到 改进 后 的 模型 对 于 病害 类 别 
分 类 错误 的 样本 数 明 显 减少 。 

表 3 列 举 了 迁移 MobileNetV3 模型 改进 前 后 


S00 
400 
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100 
0 
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图 10 改进 MobileNetV3 4A iA 4E E A 
Fig. 10 Improved confusion matrix of MobileNetV3 
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各 类 别 病害 的 识别 率 ， 其 中 番茄 健康 叶片 、 双 斑 
蜂 蛛 和 叶 考 病 的 识别 率 均 提高 6%~7%， 其 它 类 
别 平 均 提 高 3% 左 右 。10 个 类 别 的 番茄 叶片 病害 
的 平均 识别 准确 率 为 98.25%， 与 原来 的 94.68% 
相 比 提升 了 3.57%。 试 验 表明 在 迁移 学 习 的 基础 
上 对 模型 的 改进 方法 是 可 行 的 ， 有 助 于 番 新 叶片 
病害 的 分 类 识别 。 

表 3 改进 MobileNetV3 对 番茄 叶片 病害 测试 准确 率 
Table 3 Test accuracy of improved MobileNetV3 for tomato 


leaf diseases 
标签 类 别 改进 前 /% ”改进 后 /% 
0 细菌 病 95.94 98.20 
1 早 疫病 95.83 98.19 
2 晚 疫病 97.97 99.21 
3 叶 霉 病 89.95 97.70 
4 七 星 叶 斑 病 96.28 99.22 
5 AORE 96.07 98.02 
6 IURE 90.90 97.21 
7 花 叶 病毒 94.89 98.47 
8 黄 曲 叶 病 95.08 97.37 
9 健康 93.92 98.93 


4.5 模型 识别 性 能 评价 


本 试验 采用 交叉 验证 方法 °°) 作为 评价 标准 
来 衡量 模型 对 番茄 叶片 病害 的 识别 性 能 ， 采 用 十 
折 交 叉 验 证 (10-Fold Cross-Validation) 对 模型 
进行 评价 。 将 盔 茄 叶片 病害 图 像 分 为 10 份 , 依 
次 选取 其 中 的 9 份 作为 训练 集 ， 另 外 1 份 作为 测 
试 集 。 取 10 次 测试 结果 的 均值 ， 作 为 模型 鲁 
性 的 评价 标准 。1 一 10 次 试验 的 识别 准确 率 分 别 
为 96.78%、98.51% 、97.31% 、98.22% 98.17%, 
99.05%. 98.66%, 98.93%, 97.72%, 99.17%, 
平均 测试 准确 率 为 98.25%。10 次 测试 的 精度 相 
差 无 几 ， 表 明 改 进 的 MobileNetV3 模 型 具有 一 定 
的 稳定 性 和 可 靠 性 。 


5 4 it 


本 研究 在 卷 积 神经 网 络 MobileNetV3 迁移 学 
习 的 基础 上 ， 改 进 了 激活 函数 和 瓶颈 层 结构 的 卷 
积 屋 ， 构 建 番茄 病害 识别 模型 ， 输 出 10 类 番茄 


叶片 病害 的 对 应 类 别 。 对 本 研究 提出 的 病害 识别 
方法 进行 试验 和 分 析 ， 得 出 以 下 结论 。 

(1) 采用 轻 量 级 网 络 在 深度 学 习 的 识别 任务 
中 更 具有 优势 。 与 VGG16、ResNet50 和 Incep- 
tion-V3 深度 迁移 模型 相 比 ， 轻 量 级 网 络 Mobile- 
NetV3 对 番茄 病害 识别 的 效果 更 好 ， 平 均 准 确 率 
98.25%、 单 张 图 像 识 别 时 间 0.27 s、 模 型 数据 占 
用 内 存 43.57 MB， 更 有 利于 在 移动 APP 上 实现 
对 番 前 叶片 病害 的 实时 检测 ， 提 高 检测 效率 。 

(2) 采用 迁移 学 习 策 略 有 助 于 提升 网 络 的 识 
别 性 能 ,但 是 其 作用 依然 有 局 限 性 ， 通 过 将 迁移 
学 习 与 Mixup 混 合 增强 结合 ， 并 采取 更 适合 的 损 
失 函 数 ， 可 以 将 MobileNetV3 网 络 的 识别 率 由 
94.57% 提升 至 98.25%， 并 且 网 络 训练 更 稳定 。 

(3) 针对 番茄 不 同 病 害 间 叶片 及 病 斑 颜 色相 
近 、 形 状 相似 的 不 易 区 分 的 特点 ， 对 模型 的 卷 积 
层 进 行 改 进 ， 添 加 空洞 卷 积 和 感知 机 结构 可 以 辅 
助 病 斑 特征 的 提取 ， 提 高 2.62% 的 识别 精度 ; 将 
激活 函数 改进 为 GLU 门 控 机 制 函数 ， 识 别 时 间 
缩短 0.12s， 可 加 速 网 络 的 收敛 。 

(4) 采用 十 折 交 叉 验 证 方法 对 模型 的 稳定 性 
和 可 靠 性 进行 更 准确 的 评价 ， 平均 测试 准确 率 
98.25%, 

研究 结果 表明 在 迁移 学 习 的 基础 上 对 Mo- 
bileNetV3 模型 进行 改进 ， 有 助 于 提高 对 番茄 叶 
片 病 害 识 别 的 整体 效果 。 考 虑 到 实际 病害 识别 中 
图 像 背景 往往 较为 复杂 ， 后 续 将 会 收集 一 些 自然 
环境 中 的 多 种 作物 病害 图 像 ， 对 模型 进行 更 加 轻 
量化 的 改进 ， 致 力 于 开发 出 可 应 用 于 移动 端的 作 
物 病害 识别 系统 。 
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Identification of Tomato Leaf Diseases Based on Improved 
Lightweight Convolutional Neural Networks MobileNetV3 


ZHOU Qiaoli, MA Li’, CAO Liying, YU Helong 


(College of Information Technology, Jilin Agricultural University, Changchun 130118, China) 


Abstract: Timely detection and treatment of tomato diseases can effectively improve the quality and yield of tomato. In order to 
realize the real-time and non-destructive detection of tomato diseases, a tomato leaf disease classification and recognition meth- 
od based on improved MobileNetV3 was proposed in this study. Firstly, the lightweight convolutional neural network Mobile- 
NetV3 was used for transfer learning on the image net data set. The network was initialized according to the weight of the pre 
training model, so as to realize the transfer and fine adjustment of large-scale shared parameters of the model. The training meth- 
od of transfer learning could effectively alleviate the problem of model over fitting caused by insufficient data, realized the accu- 
rate classification of tomato leaf diseases in a small number of samples, and saved the time cost of network training. Under the 
same experimental conditions, compared with the three standard deep convolution network models of VGG16, ResNet50 and In- 
ception-V3, the results showed that the overall performance of MobileNetV3 was the best. Next, the impact of the change of 
loss function and the change of data amplification mode on the identification of tomato leaf diseases were observed by using 
MobileNetV3 convolution network. For the test of loss value, focal loss and cross entropy function were used for comparison, 
and for the test of data enhancement, conventional data amplification and mixup hybrid enhancement were used for comparison. 
After testing, using Mixup enhancement method under focal loss function could improve the recognition accuracy of the model, 
and the average test recognition accuracy of 10 types of tomato diseases under Mixup hybrid enhancement and focal loss func- 
tion was 94.68%. On the basis of transfer learning, continue to improve the performance of MobileNetV3 model, the dilated 
convolution convolution with expansion rate of 2 and 4 was introduced into convolution layer, 1x1 full connection layer after 
deep convolution of 5x5 was connected to form a perceptron structure in convolution layer, and GLU gating mechanism activa- 
tion function was used to train the best tomato disease recognition model. The average test recognition accuracy was as high as 
98.25%, the data scale of the model was 43.57 MB, and the average detection time of a single tomato disease image was only 
0.27s, after ten fold cross validation, the recognition accuracy of the model was 98.25%, and the test results were stable and reli- 
able. The experiment showed that this study could significantly improve the detection efficiency of tomato diseases and reduce 
the time cost of disease image detection. 

Key words: tomato disease identification; convolutional neural networks; transfer learning; MobileNetV3; activation function; 


identification and classification 
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